वैश्विक AI उत्पाद गतिशीलता खोजें

Google DeepMind का नवीनतम अनुसंधान Gemma Scope भाषा मॉडल के ब्लैक बॉक्स के रहस्यों को उजागर करता है,Sparse Autoencoders (SAEs) के माध्यम से भाषा मॉडल की सक्रियताओं को विखंडित और पुनर्निर्मित करके, जिसका उद्देश्य पीछे के सार्थक लक्षणों को उजागर करना है। Gemma Scope JumpReLU SAEs का उपयोग करता है, सक्रियता को नियंत्रित करके, पुनर्निर्माण हानि को अनुकूलित करके और सक्रिय संभावित विशेषताओं की संख्या को नियमित करके, भाषा मॉडल की आंतरिक व्यवस्था को उजागर करने के लिए। अनुसंधान से पता चलता है कि अवशिष्ट धारा SAEs की प्रदर्शन आमतौर पर कम होती है, अनुक्रम की लंबाई SAE विशेषताओं पर प्रभाव डालती है।